

<!DOCTYPE html>
<html lang="en" color-mode=light>
<head>
  <meta http-equiv="Content-Type" content="text/html; charset=UTF-8">
  <meta name="viewport" content="width=device-width, initial-scale=1, maximum-scale=1, user-scalable=no">
  <meta http-equiv="X-UA-Compatible" content="ie=edge">
  <title>超分辨-SRCNN - Alex</title>
  <meta name="apple-mobile-web-app-capable" content="yes" />
  <meta name="apple-mobile-web-app-status-bar-style" content="black-translucent">
  <meta name="google" content="notranslate" />
  
  <meta name="description" content="​    实现超分辨率重建的算法有很多，包括经典的基于...">
  <meta name="author" content="Alex">
  <link rel="icon" href="/images/icons/favicon-16x16.png" type="image/png" sizes="16x16">
  <link rel="icon" href="/images/icons/favicon-32x32.png" type="image/png" sizes="32x32">
  <link rel="apple-touch-icon" href="/images/icons/apple-touch-icon.png" sizes="180x180">
  <meta rel="mask-icon" href="/images/icons/stun-logo.svg" color="#333333">
  
    <meta rel="msapplication-TileImage" content="/images/icons/favicon-144x144.png">
    <meta rel="msapplication-TileColor" content="#000000">
  

  
<link rel="stylesheet" href="/css/style.css">


  
    
<link rel="stylesheet" href="//at.alicdn.com/t/font_1445822_s6x2xcokxrl.css">

  

  
    
<link rel="stylesheet" href="https://cdnjs.cloudflare.com/ajax/libs/fancybox/3.5.7/jquery.fancybox.min.css">

  

  
    
      
        
        
<link rel="stylesheet" href="https://cdn.bootcss.com/highlight.js/9.18.1/styles/xcode.min.css" name="highlight-style" mode="light">

      
        
        
<link rel="stylesheet" href="https://cdn.bootcss.com/highlight.js/9.18.1/styles/solarized-dark.min.css" name="highlight-style" mode="dark">

      
  

  <script>
    var CONFIG = window.CONFIG || {};
    var ZHAOO = window.ZHAOO || {};
    CONFIG = {
      isHome: false,
      fancybox: true,
      pjax: false,
      lazyload: {
        enable: true,
        only_post: 'false',
        loading: '/images/theme/loading.gif'
      },
      donate: {
        enable: true,
        alipay: 'https://pic.izhaoo.com/alipay.jpg',
        wechat: 'https://pic.izhaoo.com/wechat.jpg'
      },
      galleries: {
        enable: true
      },
      fab: {
        enable: true,
        always_show: false
      },
      carrier: {
        enable: true
      },
      daovoice: {
        enable: false
      },
      preview: {
        background: {
          default: '/images/theme/welcome-image.jpg',
          api: ''
        },
        motto: {
          default: '我在开了灯的床头下，想问问自己的心啊。',
          api: 'https://v2.jinrishici.com/one.json',
          data_contents: '["data","content"]'
        },
      },
      qrcode: {
        enable: true,
        type: 'url',
        image: 'https://pic.izhaoo.com/weapp-code.jpg',
      },
      toc: {
        enable: true
      },
      scrollbar: {
        model: 'simple'
      },
      notification: {
        enable: false,
        delay: 4500,
        list: '',
        page_white_list: '',
        page_black_list: ''
      }
    }
  </script>

  

  

<meta name="generator" content="Hexo 5.1.1"></head>

<body class="lock-screen">
  <div class="loading"></div>
  


  <nav class="navbar">
    <div class="left">
      
        <i class="iconfont iconqrcode j-navbar-qrcode"></i>
      
      
        <i class="iconfont iconmoono" id="color-toggle" color-toggle="light"></i>
      
    </div>
    <div class="center">超分辨-SRCNN</div>
    <div class="right">
      <i class="iconfont iconmenu j-navbar-menu"></i>
    </div>
    
      <div id="qrcode-navbar"></div>
    
  </nav>

  

<nav class="menu">
  <div class="menu-wrap">
    <div class="menu-close">
      <i class="iconfont iconbaseline-close-px"></i>
    </div>
    <ul class="menu-content"><li class="menu-item">
        <a href="/ " class="underline "> 首页</a>
      </li><li class="menu-item">
        <a href="/galleries/ " class="underline "> 摄影</a>
      </li><li class="menu-item">
        <a href="/archives/ " class="underline "> 归档</a>
      </li><li class="menu-item">
        <a href="/tags/ " class="underline "> 标签</a>
      </li><li class="menu-item">
        <a href="/categories/ " class="underline "> 分类</a>
      </li><li class="menu-item">
        <a href="/about/ " class="underline "> 关于</a>
      </li></ul>
    
      <div class="menu-copyright"><p>Powered by <a target="_blank" href="https://hexo.io">Hexo</a>  |  Theme - <a target="_blank" href="https://github.com/izhaoo/hexo-theme-zhaoo">zhaoo</a></p></div>
    
  </div>
</nav>
  <main id="main">
  <div class="article-wrap">
    <div class="row container">
      <div class="col-xl-3"></div>
      <div class="col-xl-6"><article class="article">
  <div class="wrap">
    <section class="head">
  <img   class="lazyload" data-original="/images/theme/post-image.jpg" src=""  draggable="false">
  <div class="head-mask">
    <h1 class="head-title">超分辨-SRCNN</h1>
    <div class="head-info">
      <span class="post-info-item"><i class="iconfont iconcalendar"></i>January 20, 2021</span>
      
      <span class="post-info-item"><i class="iconfont iconfont-size"></i>3474</span>
    </div>
  </div>
</section>
    <section class="main">
      <section class="content">
        <h2 id="原理阐述"><a href="#原理阐述" class="headerlink" title="原理阐述"></a>原理阐述</h2><p>​    使用卷积神经网络训练模型，将上采样图像转化为高分辨率图像。其中上采样图像使用双立方插值对原图进行放大得到，而转化成的高分辨率图像虽然和上采样图像大小一样，但比三次立方插值放大得到的图像清晰，因此SRCNN成为了比双立方插值效果更好的方法。</p>
<p>​    假设存在一种模糊图像到高分辨率图像的映射关系，该神经网络的目的就是求解出这个映射关系。因为图像通常使用矩阵表示，不同的图像对应着不同的矩阵，图像的特点可以使用矩阵的特征表示。而图像千变万化，如果使用小矩阵来拆解图像，使用多个小矩阵来表示一个图像的话，那么所有的图像都可以用这些小矩阵来表示了。所以该神经网络只要可以对小矩阵进行处理，将其映射成高分辨率的小矩阵，即可将图像从模糊映射成高清。因为双立方插值放大的图像并不清晰，结合该方法，即可实现得到放大的清晰图片的效果。</p>
<h3 id="网络结构"><a href="#网络结构" class="headerlink" title="网络结构"></a>网络结构</h3><p>SRCNN网络分为三层，每层的功能如下：</p>
<ol>
<li><p>提取和表示图像块：</p>
<p>​    该卷积层的输入数据为拆分好的图像块的Y通道。</p>
<p>​    该层负责提取图像块的特征。特征个数为$n_1$，该层卷积核大小为$f_1*f_1$</p>
</li>
<li><p>非线性映射</p>
<p>​    该卷积层将上一层的$n_1$个特征进行非线性映射，映射为$n_2$个特征，该层卷积核大小为$f_2*f_2$</p>
</li>
<li><p>重建</p>
<p>​    该卷积层将会把上一层的$n_2$个特征映射为高分辨率图像的Y通道。该层卷积核大小为$f_3*f_3$</p>
</li>
</ol>
<p><img   class="lazyload" data-original="/2021/01/20/SRCNN/srcnn_net.png" src="" ></p>
<h3 id="图片数据的预处理"><a href="#图片数据的预处理" class="headerlink" title="图片数据的预处理"></a>图片数据的预处理</h3><p>训练集和测试集的数据需要根据算法从图片中采集。</p>
<p>因为进行卷积操作，输出的数据矩阵会比输入矩阵的维度小，所以标签数据要比上采样图像小<code>(f1//2 + f2//2 + f3//2)*2</code>。</p>
<ul>
<li><p>标签数据和上采样图像的来源</p>
<p>​    将下载好的图片作为<strong>标签数据</strong>。</p>
<p>​    <strong>上采样图像</strong>为原图通过双立方插值的方法，缩小$scale$倍再放大$scale$倍，得到的和原图大小相同的模糊图像。</p>
</li>
<li><p>处理方式</p>
<p>​    将每张图片按照特定步长分割成小方块，上采样图像和标签图像的小方块一一对应，最后将所有数据打乱顺序，存储在本地文件中。使用相同的方式将不同的两组图片集分别做成<strong>训练集</strong>和<strong>测试集</strong>。</p>
</li>
</ul>
<h2 id="算法分析"><a href="#算法分析" class="headerlink" title="算法分析"></a>算法分析</h2><ul>
<li><p>数据预处理</p>
<p>​    为了减少模型训练的时间，仅使用了一部分SRCNN官方论文提供的图片作为数据源。分别对其中的45张和77张进行了处理，生成两组训练数据集，分别为<code>train2.h5</code>，<code>train3.h5</code>。</p>
<p>​    处理时，将每一张图片进行上采样，并将上采样结果拆分成许多$33<em>33$大小的方块作为训练集上采样图像。同时将原图对应位置的$33</em>33$方块中心的$21*21$大小的方块作为训练集的标签。两个对应的方块作为一对，最终将所有数据按照对为基本单位进行打乱，存储在hdf5文件中。其中33和21的大小设置参考的SRCNN论文，理论上大小是可以修改的，只要两者的差值等于<code>(f1//2 + f2//2 + f3//2)*2</code>即可。</p>
<p>​    测试集数据的处理同上。使用的测试数据集为$Set5$。</p>
</li>
<li><p>训练模型</p>
<p>​    首先使用pytorch进行卷积神经网络的搭建。因为卷积操作会缩小图片，在测试模型时，为了保证输入输出的维度大小一致，为卷积核增加了padding。</p>
<figure class="highlight python"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br><span class="line">8</span><br><span class="line">9</span><br><span class="line">10</span><br><span class="line">11</span><br><span class="line">12</span><br><span class="line">13</span><br><span class="line">14</span><br><span class="line">15</span><br><span class="line">16</span><br><span class="line">17</span><br><span class="line">18</span><br><span class="line">19</span><br><span class="line">20</span><br><span class="line">21</span><br><span class="line">22</span><br><span class="line">23</span><br></pre></td><td class="code"><pre><code class="hljs python"><span class="hljs-class"><span class="hljs-keyword">class</span> <span class="hljs-title">SRCNN</span>(<span class="hljs-params">nn.Module</span>):</span><br><br>    <span class="hljs-function"><span class="hljs-keyword">def</span> <span class="hljs-title">__init__</span>(<span class="hljs-params">self, isTrain</span>):</span><br>        super(SRCNN, self).__init__()<br>        c = <span class="hljs-number">1</span><br>        n1 = <span class="hljs-number">32</span><br>        n2 = <span class="hljs-number">16</span><br>        <span class="hljs-keyword">if</span> isTrain:<br>            self.conv1 = nn.Conv2d(c, n1, <span class="hljs-number">9</span>)<br>            self.conv2 = nn.Conv2d(n1, n2, <span class="hljs-number">1</span>)<br>            self.conv3 = nn.Conv2d(n2, c, <span class="hljs-number">5</span>)<br>        <span class="hljs-keyword">else</span>:<br>            self.conv1 = nn.Conv2d(c, n1, <span class="hljs-number">9</span>, padding=<span class="hljs-number">9</span> // <span class="hljs-number">2</span>)<br>            self.conv2 = nn.Conv2d(n1, n2, <span class="hljs-number">1</span>)<br>            self.conv3 = nn.Conv2d(n2, c, <span class="hljs-number">5</span>, padding=<span class="hljs-number">5</span> // <span class="hljs-number">2</span>)<br><br>        self.relu = nn.ReLU()<br><br>    <span class="hljs-function"><span class="hljs-keyword">def</span> <span class="hljs-title">forward</span>(<span class="hljs-params">self, x</span>):</span><br>        x = self.relu(self.conv1(x))<br>        x = self.relu(self.conv2(x))<br>        x = self.conv3(x)<br>        <span class="hljs-keyword">return</span> x<br></code></pre></td></tr></table></figure>

<p>​    训练时，将训练集数据的batch大小设为128，测试集为2。模型的损失函数采用MSE函数。使用学习率为0.0001的Adam进行模型参数优化。</p>
<p>​    因为训练模型花费时间过长，本次作业使用<code>train2.h5</code>分别进行了进行20轮和50轮训练，使用<code>train3.h5</code>进行5轮和30轮训练。其中<code>train3.h5</code>使用<code>n1=64,n2=32</code>来训练模型。</p>
</li>
<li><p>测试模型</p>
<p>​    将图片使用立方插值的方式缩小，作为小图，原图片作为大图。只要使用原图与测试模型得到的放大结果计算PSNR值，即可量化模型的判断标准，并且可以与立方插值方法进行对比。其中需要注意的是，测试模型时为了保证得到的图片和原图大小一样，需要为卷积核设置padding，这是训练模型时不需要的。同时，因为放大图片会导致图片边缘的像素计算不准确，在计算PSNR时，需要根据放大倍数对图像的边界进行裁剪。令人感到遗憾的是，我训练出来的这几个模型，PSNR值均未超过双立方插值的。</p>
</li>
</ul>
<h2 id="实验结果"><a href="#实验结果" class="headerlink" title="实验结果"></a>实验结果</h2><p>​    训练出的四个模型分别放在项目目录下</p>
<figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br><span class="line">8</span><br><span class="line">9</span><br><span class="line">10</span><br><span class="line">11</span><br><span class="line">12</span><br></pre></td><td class="code"><pre><code class="hljs bash">model:sr3 使用n1=64 n2=32, train3.h5训练集 训练5轮，测试模型得到的PSNR值<br>PSNR model: 30.78<br>PSNR cubic: 31.16<br>model:sr2 使用n1=32 n2=16, train3.h5训练集 训练30轮，测试模型得到的PSNR值<br>PSNR model: 30.97<br>PSNR cubic: 31.16<br>model:sr1_1 使用n1=32 n2=16, train2.h5训练集 训练20轮，测试模型得到的PSNR值<br>PSNR model: 30.22<br>PSNR cubic: 31.16<br>model:sr 使用n1=32 n2=16, train2.h5训练集 训练50轮，测试模型得到的PSNR值<br>PSNR model: 30.63<br>PSNR cubic: 31.16	<br></code></pre></td></tr></table></figure>

<p>​    虽然模型的效果并不如二次立方插值，但是PSNR值在30以上，还算可以接受吧..</p>
<ul>
<li><p>原图</p>
<p><img   class="lazyload" data-original="/2021/01/20/SRCNN/bird_GT.bmp" src="" ><span class="image-caption">bird_GT</span></p>
</li>
<li><p>放大3倍得到的图片</p>
<p><img   class="lazyload" data-original="/2021/01/20/SRCNN/bird_GT_zoom3.bmp" src="" ><span class="image-caption">bird_GT_zoom3</span></p>
</li>
</ul>
<h2 id="问题思考"><a href="#问题思考" class="headerlink" title="问题思考"></a>问题思考</h2><p>​    因为看论文中模型得到的结果还是很不错的，PSNR值能达到32.26，但是我的模型效果就没有那么好，最好的模型只有30.97，还不如双三次插值的效果好。分析影响模型效果的因素有：$n_1,n_2$的选取，模型训练的轮数，数据集的大小。虽然该神经网络模型只有三层，但由于没有找到适合本机的支持gpu的pytorch版本，训练模型使用cpu进行计算，速度很慢。为了减少时长，我并没有使用论文中提供的全部91张图片作为训练数据，也并没有采用论文中说的$n_1=64,n_2=32$来训练，而是减半。训练的轮数也并没有很多。可能这就是我的模型效果不好的原因吧。因为随着训练轮数的增加，PSNR数值的增长会变慢，所以为了得到论文中那样的结果，可能需要使用91张照片的全数据集训练上百轮或千轮才能得到。</p>
<pre><code>参考论文：Chao DongChen Change LoyKaiming HeXiaoou Tang ：Learning a Deep Convolutional Network for Image Super-Resolution</code></pre>
      </section>
      <section class="extra">
        
          <ul class="copyright">
  
    <li><strong>本文作者：</strong>Alex</li>
    <li><strong>本文链接：</strong><a href="https://alexande.gitee.io/2021/01/20/SRCNN/index.html" title="https:&#x2F;&#x2F;alexande.gitee.io&#x2F;2021&#x2F;01&#x2F;20&#x2F;SRCNN&#x2F;index.html">https:&#x2F;&#x2F;alexande.gitee.io&#x2F;2021&#x2F;01&#x2F;20&#x2F;SRCNN&#x2F;index.html</a></li>
    <li><strong>版权声明：</strong>本博客所有文章均采用 <a href="https://creativecommons.org/licenses/by-nc-sa/4.0/deed.zh" title="BY-NC-SA" target="_blank" rel="noopener">BY-NC-SA</a> 许可协议，转载请注明出处！</li>
  
</ul>
        
        
          <section class="donate">
  <div id="qrcode-donate">
    <img   class="lazyload" data-original="https://pic.izhaoo.com/alipay.jpg" src="" >
  </div>
  <div class="icon">
    <a href="javascript:;" id="alipay"><i class="iconfont iconalipay"></i></a>
    <a href="javascript:;" id="wechat"><i class="iconfont iconwechat-fill"></i></a>
  </div>
</section>
        
        
  <ul class="tag-list" itemprop="keywords"><li class="tag-list-item"><a class="tag-list-link" href="/tags/%E5%8D%B7%E7%A7%AF%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C/" rel="tag">卷积神经网络</a></li><li class="tag-list-item"><a class="tag-list-link" href="/tags/%E5%9B%BE%E5%83%8F%E5%A4%84%E7%90%86/" rel="tag">图像处理</a></li></ul> 

        
  <nav class="nav">
    <a href="/2021/05/19/css-%E5%9D%97%E7%BA%A7%E8%A1%8C%E5%86%85%E5%85%83%E7%B4%A0/"><i class="iconfont iconleft"></i>css-块级行内元素</a>
    <a href="/2020/11/07/Java-%E9%9D%A2%E5%90%91%E5%AF%B9%E8%B1%A1%E5%85%A5%E9%97%A8/">Java 面向对象入门<i class="iconfont iconright"></i></a>
  </nav>

      </section>
      
    </section>
  </div>
</article></div>
      <div class="col-xl-3">
        
          
  <aside class="toc-wrap">
    <h3 class="toc-title">文章目录：</h3>
    <ol class="toc"><li class="toc-item toc-level-2"><a class="toc-link" href="#%E5%8E%9F%E7%90%86%E9%98%90%E8%BF%B0"><span class="toc-text">原理阐述</span></a><ol class="toc-child"><li class="toc-item toc-level-3"><a class="toc-link" href="#%E7%BD%91%E7%BB%9C%E7%BB%93%E6%9E%84"><span class="toc-text">网络结构</span></a></li><li class="toc-item toc-level-3"><a class="toc-link" href="#%E5%9B%BE%E7%89%87%E6%95%B0%E6%8D%AE%E7%9A%84%E9%A2%84%E5%A4%84%E7%90%86"><span class="toc-text">图片数据的预处理</span></a></li></ol></li><li class="toc-item toc-level-2"><a class="toc-link" href="#%E7%AE%97%E6%B3%95%E5%88%86%E6%9E%90"><span class="toc-text">算法分析</span></a></li><li class="toc-item toc-level-2"><a class="toc-link" href="#%E5%AE%9E%E9%AA%8C%E7%BB%93%E6%9E%9C"><span class="toc-text">实验结果</span></a></li><li class="toc-item toc-level-2"><a class="toc-link" href="#%E9%97%AE%E9%A2%98%E6%80%9D%E8%80%83"><span class="toc-text">问题思考</span></a></li></ol>
  </aside>

        
      </div>
    </div>
  </div>
</main>
  

<footer class="footer">
  <div class="footer-social"><a 
        href="tencent://message/?Menu=yes&uin=272991962 "
        target="_blank"
        class="footer-social-item"
        onMouseOver="this.style.color= '#12B7F5'" 
        onMouseOut="this.style.color='#33333D'">
          <i class="iconfont  iconQQ "></i>
      </a><a 
        href="https://github.com/zheng-kai "
        target="_blank"
        class="footer-social-item"
        onMouseOver="this.style.color= '#9f7be1'" 
        onMouseOut="this.style.color='#33333D'">
          <i class="iconfont  icongithub-fill "></i>
      </a><a 
        href="https://gitee.com/AlexAnde "
        target="_blank"
        class="footer-social-item"
        onMouseOver="this.style.color= '#9f7be1'" 
        onMouseOut="this.style.color='#33333D'">
          <i class="iconfont  gitee-fill-round "></i>
      </a><a 
        href="mailto:272991962@qq.com "
        target="_blank"
        class="footer-social-item"
        onMouseOver="this.style.color=  '#12B7F5'" 
        onMouseOut="this.style.color='#33333D'">
          <i class="iconfont  iconmail "></i>
      </a></div>
  
    <div class="footer-copyright"><p>Powered by <a target="_blank" href="https://hexo.io">Hexo</a>  |  Theme - <a target="_blank" href="https://github.com/izhaoo/hexo-theme-zhaoo">zhaoo</a></p></div>
  
</footer>
  
      <div class="fab fab-plus">
    <i class="iconfont iconplus"></i>
  </div>
  
  
  <div class="fab fab-up">
    <i class="iconfont iconcaret-up"></i>
  </div>
  
  
    <div class="scrollbar j-scrollbar">
  <div class="scrollbar-current j-scrollbar-current"></div>
</div>
  
  
    
<script src="/js/color-mode.js"></script>

  
</body>

<script src="https://cdn.bootcss.com/jquery/3.4.1/jquery.min.js"></script>



  
<script src="https://cdn.bootcdn.net/ajax/libs/jquery.lazyload/1.9.1/jquery.lazyload.min.js"></script>




  
<script src="https://cdnjs.cloudflare.com/ajax/libs/fancybox/3.5.7/jquery.fancybox.min.js"></script>






  
<script src="https://cdn.bootcdn.net/ajax/libs/jquery.qrcode/1.0/jquery.qrcode.min.js"></script>




<script src="/js/utils.js"></script>
<script src="/js/script.js"></script>





  <script>
    (function () {
      var bp = document.createElement('script');
      var curProtocol = window.location.protocol.split(':')[0];
      if (curProtocol === 'https') {
        bp.src = 'https://zz.bdstatic.com/linksubmit/push.js';
      } else {
        bp.src = 'http://push.zhanzhang.baidu.com/push.js';
      }
      var s = document.getElementsByTagName("script")[0];
      s.parentNode.insertBefore(bp, s);
    })();
  </script>













</html>